リッジ回帰(Ridge regression)

L2正則化

$ \min_{\boldsymbol{w}} \left\{ \sum_{i=1}^{n} (y_i - \boldsymbol{x}_i^T \boldsymbol{w})^2 + \lambda \|\boldsymbol{w}\|^2_2 \right\}

この関数を w に関して微分し、その導関数を0と置くことで最適な w を求めることができる

$ \boldsymbol{w} = (\boldsymbol{X}^T \boldsymbol{X} + \lambda \boldsymbol{I})^{-1} \boldsymbol{X}^T \boldsymbol{y}

hl.icon